OACap: Caption-Guided Active Observation for Detailed Video Captioning
OACap：字幕引导主动观察的详细视频字幕生成方法
🧭 多模态 Agent 主动信息获取
Ant Group · Zhejiang University · Peking University
提出字幕中心 Agent OACap，将字幕信息缺口转为定向观察请求，迭代验证提升视频字幕质量
📌 工作参考价值（4 点）
- 在生成式推荐、商品文案、详情页摘要中，把生成结果当作可检验假设，自动检测信息缺口（遗漏关键属性、无支持断言），通过结构化工具（商品库、知识图谱、用户行为 API）补证，降低幻觉。
- 借鉴 revision gap 与 observation gap 的分级：先基于已有上下文修订，只有确实缺证据时才触发昂贵工具调用，适合高成本 LLM 场景；在电商直播切片或短视频理解中可裁剪关键帧/区域做 OCR 或密集采样。
- 事实性评估指标可复用：用 claim precision + importance-aware fact coverage 评估商品描述/搜索摘要是否覆盖关键卖点且不编造；通过原子事实往返匹配衡量语义保持，替代单一文本相似度。
- 迭代验证-修订的工作流可嵌入推荐理由生成、query 推荐解释等 Agent 流程，形成证据闭环。